One of the most efficient methods for model compression is hint distillation, where the student model is injected with information (hints) from several different layers of the teacher model. Although the selection of hint points can drastically alter the compression performance, conventional distillation approaches overlook this fact and use the same hint points as in the early studies. Therefore, we propose a clustering based hint selection methodology, where the layers of teacher model are clustered with respect to several metrics and the cluster centers are used as the hint points. Our method is applicable for any student network, once it is applied on a chosen teacher network. The proposed approach is validated in CIFAR-100 and ImageNet datasets, using various teacher-student pairs and numerous hint distillation methods. Our results show that hint points selected by our algorithm results in superior compression performance compared to state-of-the-art knowledge distillation algorithms on the same student models and datasets.
translated by 谷歌翻译
知识图嵌入研究主要集中于学习知识图的连续表示链接预测问题。最近开发的框架可以有效地应用于研究相关的应用中。但是，这些框架无法满足现实应用程序的许多要求。随着知识图的大小的增长，在这些框架中，将计算从商品计算机转移到一组计算机变得更具挑战性。查找合适的高参数设置W.R.T.时间和计算预算留给从业者。此外，尽管持续学习在许多现实世界（深）学习驱动的应用中，持续学习在知识图嵌入框架中的持续学习方面通常被忽略。可以说，这些局限性解释了缺乏大型知识图的公开知识图嵌入模型。我们以框架的框架，pytorch闪电和拥抱面的框架开发了一个框架，以用硬件 - 静态方式计算大规模知识图的嵌入，以解决与真实应用规模有关的现实世界挑战。我们提供框架的开源版本以及具有超过11.4 B参数的预训练模型的枢纽。
translated by 谷歌翻译
深度神经网络是当今离线增强学习中最常用的功能近似值。先前的工作表明，接受TD学习和梯度下降训练的神经网可以表现出隐式正则化，可以通过这些网络的参数化不足来表征。具体而言，已经观察到在训练期间，倒数第二个特征层的排名（也称为\ textit {有效等级}）急剧崩溃。反过来，这种崩溃被认为是为了降低模型在学习后期进一步适应的能力，从而导致最终表现降低。有效等级和绩效之间的这种关联使离线RL的有效等级引人注目，主要用于离线政策评估。在这项工作中，我们对三个离线RL数据集的有效等级与绩效之间的关系进行了仔细的实证研究：Bsuite，Atari和DeepMind Lab。我们观察到，直接关联仅存在于受限的设置中，并且在更广泛的超参数扫描中消失。此外，我们从经验上确定了三个学习的阶段，这些阶段解释了隐式正则化对学习动力学的影响，并发现单独进行引导不足以解释有效等级的崩溃。此外，我们表明其他几个因素可能会混淆有效的等级与绩效之间的关系，并得出结论，在简单假设下研究这种关联可能会产生高度误导。
translated by 谷歌翻译
课堂表达学习是可解释的监督机器学习的分支，越来越重要。在描述逻辑中的类表达式学习的大多数现有方法是搜索算法或基于硬规则的。特别地，基于细化运营商的方法遭受可扩展性问题，因为它们依赖于启发式功能来探索每个学习问题的大搜索空间。我们提出了一系列新的方法，我们配合了合成方法。此系列的实例是从提供的示例中直接计算类表达式。因此，它们不受基于搜索方法的运行时限制，也不存在于基于硬规则的方法的缺乏灵活性。我们研究了这种新型方法的三个实例，该方法使用轻量级神经网络架构从积极的例子组合中综合类表达式。他们对四个基准数据集的评估结果表明，它们可以在平均水平上有效地合成相对于输入示例的高质量类表达。此外，与最先进的方法的比较Celoe和Eltl表明我们在大型本体中实现了更好的F措施。为了重现性目的，我们提供了我们的实施以及在HTTPS://github.com/conceptLengtlearner/nces的公共Github存储库中的预先训练模型
translated by 谷歌翻译
2021-11-08
知识图中的节点是一个重要任务，例如，预测缺失类型的实体，预测哪些分子导致癌症，或预测哪种药物是有前途的治疗候选者。虽然黑匣子型号经常实现高预测性能，但它们只是hoc后和本地可解释的，并且不允许学习模型轻松丰富域知识。为此，已经提出了学习描述了来自正和否定示例的逻辑概念。然而，学习这种概念通常需要很长时间，最先进的方法为文字数据值提供有限的支持，尽管它们对于许多应用是至关重要的。在本文中，我们提出了Evolearner - 学习ALCQ（D）的进化方法，它是与合格基数限制（Q）和数据属性配对的补充（ALC）的定语语言和数据属性（D）。我们为初始群体贡献了一种新颖的初始化方法：从正示例开始（知识图中的节点），我们执行偏见随机散步并将它们转换为描述逻辑概念。此外，我们通过在决定分割数据的位置时，通过最大化信息增益来提高数据属性的支持。我们表明，我们的方法在结构化机器学习的基准框架SML - 台阶上显着优于现有技术。我们的消融研究证实，这是由于我们的新颖初始化方法和对数据属性的支持。
translated by 谷歌翻译
基于细化运算符的概念学习方法探索部分有序的解决方案空间来计算概念，这些空间用作个体的二进制分类模型。然而，这些方法探索的概念的数量可以很容易地增长到数百万的复杂学习问题。这通常会导致不切实际的运行时间。我们建议通过预测解决方案空间探索前的目标概念的长度来缓解这个问题。通过这些手段，我们可以在概念学习期间修剪搜索空间。为了实现这一目标，我们比较四个神经结构，并在四个基准上进行评估。我们的评估结果表明，经常性的神经网络架构在概念长度预测中表现最佳，宏F-MEARY从38％到92％。然后，我们扩展了eloe算法 - 学习ALC概念 - 我们的概念长度预测器。我们的扩展会产生算法剪辑。在我们的实验中，夹子比ALC的其他最先进的概念学习算法速度至少为7.5倍 - 包括Celoe - 并且在4个数据集中学习的3个概念的F-Peasure中实现了重大改进。为了重现性，我们在HTTPS://github.com/conceptlencthLearner/learnlencths中提供我们在公共Github存储库中的实现
translated by 谷歌翻译
知识图形嵌入研究主要集中在两个最小的规范部门代数，$ \ mathbb {r} $和$ \ mathbb {c} $。最近的结果表明，四元增值嵌入的三线性产品可以是解决链路预测的更有效手段。此外，基于真实嵌入的卷曲的模型通常会产生最先进的链路预测结果。在本文中，我们调查了一种卷积操作的组成，具有超量用乘法。我们提出了四个方法qmult，amult，convic和convo来解决链路预测问题。 Qmult和Omult可以被视为先前最先进方法的四元数和octonion扩展，包括Distmult和复杂。 Convic和Convo在Qmult和Omlult上建立在剩余学习框架的方式中包括卷积操作。我们在七个链路预测数据集中评估了我们的方法，包括WN18RR，FB15K-237和YAGO3-10。实验结果表明，随着知识图的规模和复杂性的增长，学习超复分价值的矢量表示的益处变得更加明显。 Convo优于MRR的FB15K-237上的最先进的方法，命中@ 1并点击@ 3，而Qmult，Omlult，Convic和Convo在所有度量标准中的Yago3-10上的最终倾斜的方式。结果还表明，通过预测平均可以进一步改善链路预测性能。为了培养可重复的研究，我们提供了开源的方法，包括培训和评估脚本以及佩戴型模型。
translated by 谷歌翻译
本文讨论了具有丰富记录数据的域中的政策选择问题，但互动预算有限。解决此问题将在行业，机器人和推荐领域中安全评估和部署离线强化学习政策等。已经提出了几种违规评估（OPE）技术以评估仅使用记录数据的策略的值。然而，OPE的评估与真实环境中的完整在线评估之间仍然存在巨大差距。然而，在实践中通常不可能进行大量的在线互动。为了克服这个问题，我们介绍了\ emph {主动脱机策略选择} - 一种新的顺序决策方法，将记录数据与在线交互相结合，以识别最佳策略。这种方法使用ope估计来热启动在线评估。然后，为了利用有限的环境相互作用，我们决定基于具有表示政策相似性的内核函数的贝叶斯优化方法来评估哪个策略。我们使用大量候选政策的多个基准，以表明所提出的方法提高了最先进的OPE估计和纯在线策略评估。
translated by 谷歌翻译
深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。
translated by 谷歌翻译
In this work, we model abstractive text summarization using Attentional Encoder-Decoder Recurrent Neural Networks, and show that they achieve state-of-the-art performance on two different corpora. We propose several novel models that address critical problems in summarization that are not adequately modeled by the basic architecture, such as modeling key-words, capturing the hierarchy of sentence-toword structure, and emitting words that are rare or unseen at training time. Our work shows that many of our proposed models contribute to further improvement in performance. We also propose a new dataset consisting of multi-sentence summaries, and establish performance benchmarks for further research.
translated by 谷歌翻译